Test-Time Scaling in the Wild: Why Exploitation, Not Exploration, Is the Bottleneck
开放域生成中测试时扩展：瓶颈在利用而非探索
🧭 LLM 测试时扩展 · 开放域生成评估 ★ 深度解读
Thomson Reuters
五种TTS计算归一化对比：候选池不缺好答案，奖励模型相关性≈0.12，Fusion最佳仅捕获40% headroom
📌 工作参考价值（4 点）
- 在电商/广告文案、商品标题、Agent 回复等开放域生成中，上线 Best-of-N + reward model 选优前，先在小样本测 RM 分数与真实质量的 Spearman ρv；若低（如<0.2），额外采样基本是浪费，应直接放弃 RM 选择。
- 优先把候选池做生成式合成（Fusion）而不是打分选优：同一候选池下，Fusion 的 headroom capture 约 40%，明显高于 BoN 的约 15%，且不依赖外部 verifier，适合商品文案/卖点融合。
- 不要把 PRM 引导的树搜索用于开放域文本生成；错误 PRM 会指数型剪掉好分支，导致多样性崩溃，并行采样更稳。
- 迭代 refine 的收益要警惕长度偏置：写作/文案类 benchmark 的提升可能与“写得更长”混淆，迁移到广告或商品描述时用长度匹配评估，并监控 length-score 相关。